“感应头”是注意力头，它实现了一种简单的算法来完成令牌序列，例如[a] [b] ... [a] - > [b]。在这项工作中，我们提供了一个假设的初步和间接证据，即诱导头可能构成大型大型变压器模型中所有“文本学习”中大多数的机制（即减少在增加代币指数时损失的损失）。我们发现，诱导头在与秘密学习能力突然急剧上的急剧上升的位置完全相同，这是训练损失的颠簸。我们提出了六种互补的证据，认为诱导头可能是任何大小的变压器模型中一般性内部学习的机理来源。对于仅关注的小型模型，我们提供了有力的因果证据。对于具有MLP的较大模型，我们提供相关证据。
translated by 谷歌翻译
We introduce M-VADER: a diffusion model (DM) for image generation where the output can be specified using arbitrary combinations of images and text. We show how M-VADER enables the generation of images specified using combinations of image and text, and combinations of multiple images. Previously, a number of successful DM image generation algorithms have been introduced that make it possible to specify the output image using a text prompt. Inspired by the success of those models, and led by the notion that language was already developed to describe the elements of visual contexts that humans find most important, we introduce an embedding model closely related to a vision-language model. Specifically, we introduce the embedding model S-MAGMA: a 13 billion parameter multimodal decoder combining components from an autoregressive vision-language model MAGMA and biases finetuned for semantic search.
translated by 谷歌翻译
As predictive models are increasingly being employed to make consequential decisions, there is a growing emphasis on developing techniques that can provide algorithmic recourse to affected individuals. While such recourses can be immensely beneficial to affected individuals, potential adversaries could also exploit these recourses to compromise privacy. In this work, we make the first attempt at investigating if and how an adversary can leverage recourses to infer private information about the underlying model's training data. To this end, we propose a series of novel membership inference attacks which leverage algorithmic recourse. More specifically, we extend the prior literature on membership inference attacks to the recourse setting by leveraging the distances between data instances and their corresponding counterfactuals output by state-of-the-art recourse methods. Extensive experimentation with real world and synthetic datasets demonstrates significant privacy leakage through recourses. Our work establishes unintended privacy leakage as an important risk in the widespread adoption of recourse methods.
translated by 谷歌翻译
是否可以指导基础模型执行涉及法律推理的任务？我们认为，建立一个基准来回答这个问题将需要计算机科学与法律社区之间持续的合作努力。为此，这份简短的纸张有三个目的。首先，我们描述了IRAC-A框架法律学者如何用来区分不同类型的法律推理 - can指导基础模型的基础基准。其次，我们介绍了根据此框架构建的44个任务的种子集。我们讨论初始发现，并突出显示新任务的方向。最终，由开放科学运动引起的启发 - 我们呼吁法律和计算机科学社区通过贡献新任务来加入我们的努力。这项工作正在进行中，我们的进度可以在此处跟踪：https：//github.com/hazyresearch/legalbench。
translated by 谷歌翻译
我们生活的世界充满了技术，而每天都有无人机的进步和使用有效地增加。由于许多应用程序方案，在某些任务中，无人机容易受到外部干扰的影响，例如地面站的连通性丧失，安全任务，安全问题和与交货相关的任务。因此，根据情况，这可能会影响运营并导致无人机的安全着陆。因此，本文提出了一种在动态环境中安全着陆的启发式方法。这种方法的目的是检测安全的潜在降落区 - PLZ，并找出最适合降落的区域。最初，PLZ是通过通过Canny Edge算法处理图像来检测的，然后应用了直径估计值对于每个边缘最小的区域。比车辆间隙更高的斑点被标记为安全PLZ。在该方法的第二阶段中，计算了向PLZ移动的动态障碍的速度，并考虑到达到区域的时间。计算无人机的ETA并在无人机的下降期间，执行动态障碍物。在现实世界环境中测试的方法显示了现有工作的更好结果。
translated by 谷歌翻译
大型变压器模型实现了自然语言理解任务的最新状态，并越来越成为建模源代码的基线模型体系结构。通常，变压器在大型无监督的语料库中进行预训练，学习令牌表示和与通常可用的文本相关的转换，然后对特定的下游感兴趣的任务进行微调。虽然微调是一种尝试将模型调整为新领域的久经考验的方法（例如，在给定主题上提出问题，概括仍然是一个持续的挑战。在本文中，我们探索并评估了变形金刚的模型以进行个性化。在为Java方法生成单元测试的背景下，我们评估学习以使用多种个性化技术为特定的软件项目个性化。我们考虑三种关键方法：（i）自定义微调，这允许调整所有模型参数； （ii）轻巧的微调，它冻结了大多数模型的参数，可以单独调整令牌嵌入和SoftMax层或单独的最终层； （iii）前缀调整，该调谐使模型参数冻结，但优化了小型项目特定的前缀矢量。这些技术中的每一个都提供了总计算成本和预测性能的权衡，我们通过代码和特定任务指标，培训时间和总计算操作进行评估。我们比较了这些微调策略以生成代码，并讨论了各种部署方案中每个策略的潜在概括和成本益处。
translated by 谷歌翻译
基于姿势的动作识别主要是通过以整体化处理输入骨骼的方法来解决的，即姿势树中的关节是整体处理的。但是，这种方法忽略了这样一个事实，即行动类别通常以局部动力动力学为特征，这些动力动力学仅涉及涉及手（例如“竖起大拇指”）或腿部（例如``踢''）的零件联合组的小子集。尽管存在基于部分组的方法，但在全球姿势框架内并未考虑每个部分组，从而导致这种方法缺乏。此外，常规方法采用独立的方式流（例如关节，骨，关节速度，骨速度），并在这些流中多次训练网络，从而大大增加了训练参数的数量。为了解决这些问题，我们介绍了PSUMNET，这是一种新颖的方法，用于可扩展有效的基于姿势的动作识别。在表示级别，我们提出了一种基于全球框架的部分流方法，而不是基于常规模态流。在每个部分流中，从多种模式的相关数据被处理管道统一和消耗。在实验上，PSumnet在广泛使用的NTURGB+D 60/120数据集和密集的关节骨架数据集NTU 60-X/120-X上实现了最先进的性能。 PSUMNET高效，优于竞争方法，使用100％-400％的参数。 PSUMNET还概括为具有竞争性能的SHREC手势数据集。总体而言，PSUMNET的可伸缩性，性能和效率使其成为动作识别以及在Compute限制的嵌入式和边缘设备上部署的吸引人选择。可以在https://github.com/skelemoa/psumnet上访问代码和预算模型
translated by 谷歌翻译
随着摩尔的定律饱和和丹纳德的缩放率撞到了墙壁，传统的冯·诺伊曼系统无法为CNN等计算密集型算法提供GFLOPS/WATT。非常规计算方法的最新趋势使我们希望为此类算法设计高能节能的计算系统。神经形态计算是一种有希望的方法，其脑启发的电路，新兴技术的使用和低功率性质。研究人员使用各种新型技术，例如回忆录，硅光子学，鳍片和碳纳米管来演示神经形态计算机。但是，从神经形态的逻辑设计开始并进行建筑模拟的灵活CAD工具尚未得到证明，以支持这种有希望的范式的兴起。在这个项目中，我们旨在构建Neucasl，这是一个基于OpenSource Python的完整系统CAD框架，用于神经形态逻辑设计，电路模拟以及系统性能和可靠性估计。据我们所知，这是同类产品中的第一个。
translated by 谷歌翻译
培训计算机视觉模型通常需要在各种场景配置和属性集中收集和标记大量图像。这个过程非常耗时，并且要确保捕获的数据分布映射到应用程序方案的目标域，这是一项挑战。最近，综合数据已成为解决这两个问题的一种方式。但是，现有方法要么要求人类专家手动调整每个场景属性，要么使用几乎无法控制的自动方法；这需要渲染大量的随机数据变化，这很慢，对于目标域通常是次优的。我们介绍了第一个完全可区分的合成数据管道，该数据管道使用具有目标应用程序损耗函数的闭环中的神经辐射场（NERF）。我们的方法可以在没有人工的情况下生成数据，以最大程度地提高目标任务的准确性。我们说明了我们方法对合成和现实对象检测任务的有效性。我们还引入了一个新的“ YCB野外”数据集和基准标准，该数据集和基准为对象检测提供了一种在现实世界环境中具有多种姿势的测试方案。
translated by 谷歌翻译
弱监督的对象检测（WSOD）使对象检测器能够使用图像级类标签训练对象检测器。但是，当前WSOD模型的实际应用是有限的，因为它们在小规模上运行，需要进行广泛的培训和精致。我们提出了弱监督的检测变压器，该变压器可以有效地从大规模预处理数据集到数百个新物体的WSOD列表有效地转移。我们利用预处理的知识来改善WSOD中使用的多个实例学习框架，并且实验表明我们的方法的表现优于数据集上的最新方法，其新颖类是本文的两倍。
translated by 谷歌翻译